Recent empirical works have successfully used unlabeled data to learn feature representations that are broadly useful in downstream classification tasks. Several of these methods are reminiscent of the well-known word2vec embedding algorithm: leveraging availability of pairs of semantically "similar" data points and "negative samples," the learner forces the inner product of representations of similar pairs with each other to be higher on average than with negative samples. The current paper uses the term contrastive learning for such algorithms and presents a theoretical framework for analyzing them by introducing latent classes and hypothesizing that semantically similar points are sampled from the same latent class. This framework allows us to show provable guarantees on the performance of the learned representations on the average classification task that is comprised of a subset of the same set of latent classes. Our generalization bound also shows that learned representations can reduce (labeled) sample complexity on downstream tasks. We conduct controlled experiments in both the text and image domains to support the theory.
translated by 谷歌翻译
复合现象在梵语中无处不在。它用于表达思想的简洁性，同时丰富语言的词汇和结构形成。在这项工作中，我们专注于梵语复合类型标识（SACTI）任务，在其中我们考虑了识别复合词组件之间语义关系的问题。早期的方法仅依赖于从组件获得的词汇信息，而忽略最关键的上下文和句法信息，对SACTI有用。但是，SACTI任务主要是由于化合物组件之间隐式编码的上下文敏感语义关系。因此，我们提出了一种新颖的多任务学习体系结构，该体系结构结合了上下文信息，并使用形态标记和依赖性解析作为两个辅助任务来丰富互补的句法信息。与最新系统相比，SACTI基准数据集上的实验显示了6.1分（准确性）和7.7点（F1得分）绝对增益。此外，我们的多语言实验证明了拟议的架构在英语和马拉地语中的功效。代码和数据集可在https://github.com/ashishgupta2598/sacti上公开获得。
translated by 谷歌翻译
通过一系列联邦举措和命令，美国政府一直在努力确保美国在AI中的领导。这些广泛的战略文件影响了美国空军美国部（DAF）等组织。DAF-MIT AI加速器是DAF和MIT之间的一项计划，以弥合AI研究人员与DAF任务要求之间的差距。DAF-MIT AI加速器支持的几个项目正在开发公共挑战问题，这些问题解决了许多联邦AI研究的重点。这些挑战是通过公开可用的大型AI-Ready数据集，激励开源解决方案，并为可以激发进一步研究的双重使用技术创建需求信号，来针对优先事项。在本文中，我们描述了正在开发的这些公共挑战以及它们的应用如何促进科学进步。
translated by 谷歌翻译
异常检测和定位是具有多种应用的重要视觉问题。各种不同表面上异常区域的有效和通用的语义分割，在各种不同的表面上，大多数异常区域没有任何明显的模式，仍处于积极研究。在广大基础设施中检测是一种重要的基础设施的定期健康监测和故障（异常）是一种重要的安全相关任务，是基于视觉的异常分割的一个这样的应用领域。然而，由于表面故障的大变化，纹理的结构材料/背景，照明条件等，任务是非常具有挑战性的。裂缝是临界和频繁的表面缺陷，表现为极端曲折形状的薄，细长区域。它们是在深入学习的最难检测的故障之一中。在这项工作中，我们解决了自动裂缝分割问题的一个开放方面，通过模拟问题来概括和提高各种场景的分割性能。我们仔细研究和抽象涉及的子问题，并在更广泛的背景下解决它们，使我们的解决方案通用。在各种与不同基础设施监视相关的数据集上，在不同的条件下，我们的模型在没有任何铃声和口哨的情况下始终如一地优于最先进的算法。这种性能优势在我们模型的两个部署中轻松携带，针对行业提供的数据集进行测试。更进一步的是，我们也可以为两个制造质量检查场景建立我们的模型的表现，其中缺陷类型不仅仅是裂缝等价物，而且更加不同。因此，我们希望我们的模型确实是一个真正的通用缺陷分段模型。
translated by 谷歌翻译